[XEND] Fix missing SR references in XendAPI

Signed-off-by: Alastair Tse <atse@xensource.com>

A survey of all the supported configuration options in Xend and also
what they map to in the Xen API.

[XEND] Add more API implementations, add sched_id_get to xc.

Signed-off-by: Alastair Tse <atse@xensource.com>

Import 83:b569bb25a8f08a15381b022ee143d7f205976604 from xen-api.hg, minus the
Makefile patch.

[XEND] Remove blank image file generation for QCOW images.

There is no need for a blank backing store, although this means we
have to find a new way to determine how much virtual disk space is
free in the StorageRepository.

Beginnings to attempt to supoprt HVM guests.

Signed-off-by: Alastair Tse <atse@xensource.com>

[XENAPI] Add shell option for xapi.py so it can remember sessions.

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Fix KB allocation in XendStorageRepository

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Remove mistake of not checking xenstore's name entry for Dom0

Also fix logic with detecting whether devid is an int or not because
xm passes this as a string all the time.

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Add some docstrings about XendAuthSessions

Signed-off-by: Alastair Tse <atse@xensource.com>

[XM] Fix TypeError in exception handler if there is no res_label.

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Switch to PAM authentication for login sessions
[XENAPI] Fix case difference in API for Host.* functions

Signed-off-by: Alastair Tse <atse@xensource.com>

[ACM] Fix the resource representations in the resource_label
file. Without this patch, multiple representations of the same
resource can co-exist in the resource label file and lead to errors
during operation.

Ensures that all resource file names are stored with absolute
path name and are unique. Setting labels of phy-resources, relative
paths will automatically be pre-pended with '/dev/'; labeling
file-resources with relative paths will raise an error.

Signed-off by: Reiner Sailer <sailer@us.ibm.com>

[SOLARIS] Xen daemons are managed separately, so we need a way to start
just xend, and we need to disable xend's self-restarter.

Merged with Xen API Tree.

Signed-off-by: John Levon <john.levon@sun.com>

[SOLARIS] The hotplug scripts live in a different place on Solaris.

Add osdep.py module

Signed-off-by: John Levon <john.levon@sun.com>

[SOLARIS] The hotplug scripts live in a different place on Solaris.

Merged with Xen API Tree

Signed-off-by: John Levon <john.levon@sun.com>

[SOLARIS] Add the correct machine name for Solaris to arch.py.

Signed-off-by: John Levon <john.levon@sun.com>

[XEND] Check for and fail on non-existent floppy-drive file when starting HVM guest.

The qemu device model hangs when a non-existent floppy file is passed
via 'fda' or 'fdb'. The attached patch checks whether the floppy file
exists and raises an error if it does not.

Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

[XEND] Add missing line from changeset 11653:3b7e11cbeb940
Signed-off-by: Keir Fraser <keir@xensource.com>

[XEND] Re-add the tap prefix because it is needed.

Signed-off-by: Alastair Tse <atse@xensource.com>

[XENAPI] Make vm-destroy consistent with API naming. Moved what is
known as xm destroy to vm-shutdown --force.

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Remove extra tap: prefix for device uname.

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Fix bugs in vbd_create logic when handling VDIs

Attempt to handle 'tap' devices as 'vbd' devices even though the
internal configuration has no idea that 'tap' is a subclass of 'vbd'.

Add option parsing to vbd-create and vdi-create so you can override
the configuration file options.

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Fix some bad names left behind while converting all storage to
bytes rather than KB.

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] XendVDI saves configuration on change.

Added a base class called AutoSaveObject that will attempt to call
save_config() if any attribute in the object changes. It isn't
particularly efficient, but we do not expect VDI to change much.

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Updates to SR and VDI implementations

* Moved xenapi transport util method, stringify to xen.util.xmlrpclib2
* XenVDI now preserves configuration to an XML-ish file
* Update Xen API's class names to be all lowercase
* Update get_by_label to get_by_name_label and return sets as the API
  expects.
* Add support for VBD creation with a VDI reference.

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Adding API stub generation to XendAPI + SR implementation for
Xen API.

Fixed *get_by_label functions to return a Set rather than only one
result.

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Beginnings of the Xend Storage Repository implementation.

Currently it is a basic repository that just creates images on demand
and wraps them as VDIs. Rudimentary support for querying the available
space using 'df'. Creates images via 'qcow-create' after creating an
empty image.

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Removing this file from version control as it is now
autogenerated via the distutils build script.

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Fix interpretation of stringified 64 bit ints in
XendConfig. Rename Xen API classes, "Host" and "Host_CPU" to their
lowercase equivalent.

Apparent confusion in the docs as to what they should be named.

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Add some sort of rudimentary version embedding into the source
so we can report the Xend version number as opposed to Xen's version
number.

Signed-off-by: Alastair Tse <atse@xensource.com>

Give our test VM a name with no space (Xend does not allow this at the moment).

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Import libxen-src-0.4.3-2.tar.bz2.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

[XEND] Conform to Xen API XMLRPC Wire Protocol Customisation

1. Int(s) all have to be String(s).
2. Enums are not transmitted as Ints, but as Descriptive Strings.

Signed-off-by: Alastair Tse <atse@xensource.com>

[XENAPI] Adding some rudimentary documentation about what has changed.

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Save device updates to VM configuration via Xen API

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Fix check for whether domain is running.

Signed-off-by: Alastair Tse <atse@xensource.com>

[XENAPI] Support for VBD/VIF info listing in vm-list --long

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Proper support for devices with UUID. Removing old workaround
with augmented VM UUIDs with devids.

Signed-off-by: Alastair Tse <atse@xensource.com>

[XENAPI] Add missing function names. Proper sub command help messages.

Signed-off-by: Alastair Tse <atse@xensource.com>

[XENAPI] Pretty print error messages, insert simple argument parsing
framework

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Keep track of attached vbds and vifs for XenAPI

Signed-off-by: Alastair Tse <atse@xensource.com>

[XENAPI] Fix wrong vars being extracted from reading python cfg

Signed-off-by: Alastair Tse <atse@xensource.com>

[XENAPI] Added hard shutdown (aka. vm-destroy)

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Remove annoying debugging messages

Signed-off-by: Alastair Tse <atse@xensource.com>

[XENAPI] Example tools to create/destroy/shutdown VMs

Example Session:

xapi.py vm-list
xapi.py host-info
xapi.py vm-create xapi.domcfg.py
xapi.py vbd-create GentooAPI xapi.vbdcfg.py
xapi.py vif-create GentooAPI xapi.vifcfg.py
xapi.py vm-start GentooAPI
xapi.py vm-shutdown GentooAPI
xapi.py vm-delete xapi.py

signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Fix shutdown reasons from Xen API

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Another attempt at fixing escaping logic in SXP

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Fix XenAPI Host interface so that get_record works.

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Fix many typos with VM interface to XenAPI

1. Python XMLRPC does not allow integer keys to structs.
2. Typo with on_suspend and on_preserve
3. Changed all tuples in constants to lists so .index() works.
4. Made get_vcpus_utils to return seconds of CPU time.
5. Fix flawed login in VM.get_record()

[XEND][XM] Fix bug in XendDomainInfo.recreate introduced by refactoring.

* Replaced autostart and autostop with more descriptive on_xend_start
  and on_xend_stop for the configuration.

Signed-off-by: Alastair Tse <atse@xensource.com>

[XM] Add missing parameter to XM XMLRPC call so that we get the
devices in xm list --long

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Comments cleanups

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Remove misleading debugging message

http://bugzilla.xensource.com/bugzilla/show_bug.cgi?id=732

Signed-off-by: Alastair Tse <atse@xensource.com>

[XM][XEND] Speed up xm list

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Exposing the XendAPI module in the XMLRPCServer

Signed-off-by: Alastair Tse <atse@xensource.com>

[XM] new.py that implements adding an unstarted domain

Signed-off-by: Alastair Tse <atse@xensource.com>

[XM] Add commands to implement lifecycle commands via the XM XMLRPC interface.

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Make SXP be compatible with sequencetypes (Tuples and Lists)

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND][XENAPI] XendNode implementation for Xen API Host, Host CPUs

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Add a convenience function for UUID generation

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND][XENAPI] XendCheckpoint should use XendConfig for passing configs.

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Implementation of Xen-API in a separate module.

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Change blkif to use the new style configuration

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Massive XendDomain XendDomainInfo reorganisation to use XendConfig.

* Added some constants to do with lifecycle management in XendDomain
* Added docstrings
* Made all private functions prefixed with an underscore (_)
* Added lifecycle management in XendDomain which stores configs in SXP
  format.
* Added bits of XenAPI support.
* Moved all XendDomainInfo constants to a separate file
* Moved most of the domain creation login into XendDomainInfo rather
  than in module level functions.
* Moved to use Xen API compatible reporting of state.
* Reorganised methods into logical groups in XendDomain and XendDomainInfo
* Moved all domain configuration validation into XendConfig
* Removed DevController cruft from the bottom of XendDomainInfo to
  XendDevices.

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] XendConfig is an extended python dictionary that is used to exchange
VM configuration information to allow easy import and export to different
file types.

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Refactoring device controllers to its own module so it can be used by both XendConfig and XendDomainInfo.

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND][XENAPI] Split Xend global constants out to its own file.

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND][XENAPI] Adding some default Xen API Errors

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Minor code formatting changes to XendRoot.py

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND][LIFECYCLE] Configurable storage path for lifecycle support

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Clean up some keyword clashes with XendCheckpoint
- Replaced str with domstr
- Disabled changing domain name while migrating

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Xen API Auth Manager for handling sessions

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Make XMLRPC Server shutdown cleanly.

We can now catch the end of Xend and clean up domains accordingly.

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Make logging an optional parameter for the XMLRPCServer

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Replace dom with domid.

* Also removed stray semicolon
* Fixed whitespace for pciif.py
* Moved DEV_MIGRATE_TEST to xen.xend.__init__.py

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Python API break. Replacing ambiguious 'dom' with 'domid'

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Minor stylistic fixes for XendBootloader.py

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Make import sxp into absolute import.
* Replacing import sxp with from xen.xend import sxp to avoid
confusion.

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Fix backslash escaping so it ignores escapes if they don't make sense.

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEN][HVM] Fix a bug which could lead to the guest locking up if it
tried to a backwards memcpy across a page boundary in an MMIO region.
This should fix the problems some people have been reporting running
vim.

Signed-off-by: Steven Smith <sos22@cam.ac.uk>

[HVM][TOOLS] Improve warnign message when trying to create
an HVM guest on a non-capable platform.
Signed-off-by: Keir Fraser <keir@xensource.com>

[HVM] Mov to/from CR8 must be gated on whether VLAPIC device is created.

If APIC=0 in VMX configuration file, VLAPIC(v) in
mov_from_cr()/mov_to_cr() will be NULL, so calling
vlapic_get_reg()/vlapic_set_reg()/vlapic_update_ppr()
would crash Xen.

Original patch from Dexuan Cui <dexuan.cui@intel.com>
Signed-off-by: Keir Fraser <keir@xensource.com>

[HVM] Add RDMSR/WRMSR instruction emulation to VMXAssist decoder
AP of PAE SMP windows will use it to set NX bit in EFER.

Signed-off-by: Xin Li <xin.b.li@intel.com>

[HVM] Add sub instruction support to HVM MMIO decoder.
This is needed for SMP PAE windows XP SP2.

Signed-off-by: Xin Li <xin.b.li@intel.com>

[HVM][SVM] Do not delay ExtInt event injection if RFLAGS.IF==0.

AMD-V does not require the delaying of interrupt injection if the guest
IF_FLAG disallows interrupts.  Remove the code in svm_intr_assist()
that was checking the guest IF in eflags.

This patch fixes the problem with HVM Windows guests, with observing a
very slow timer countdown on the initial boot menu, when there is more
than one boot option.  Kbd response in this same Windows boot menu is
also acceptably responsive with this patch.

Signed-off-by: Tom Woller <thomas.woller@amd.com>=20

[NET] back: Loopback must copy foreign mappings.
Signed-off-by: Keir Fraser <keir@xensource.com>

Merge.

[XEN][HVM] Arrange that we only consider sending a PV-on-HVM event channel
callback interrupt in vcpu 0.  This avoids a race in SMP HVM domains
which could lead to interrupts never getting delivered.  It is safe
because HVM domains always bind their event channels to vcpu 0.

Bug pointed out by Keir.

Signed-off-by: Steven Smith <sos22@cam.ac.uk>

[BLKTAP] Find major number by searching sysfs
instead of reading /proc/devices.

Signed-off-by: Steven Rostedt <srostedt@redhat.com>

Merge.

[XEN][HVM] Make sure that the interrupt which event channel events come in
on is level triggered rather than edge triggered, since it's a PCI device.
This is complicated by the possibility that another PCI device could be
on the same interrupt; the workaround is to have two irr registers
for the PIC and APIC, and have qemu and Xen generated interrupts go
into different ones.

This broke the alt_irq stuff.  Fortunately, nobody uses that anymore, so
I've removed it.

Signed-off-by: Steven Smith <sos22@cam.ac.uk>

[LINUX] Make evtchn device use a dynamic minor number.

Also update the code in tools to create the device node if udev fails.
The tools now read the sysfs system to find the minor number needed.

Original patch from  Steven Rostedt <srostedt@redhat.com>
Signed-off-by: Keir Fraser <keir@xensource.com>

[XEN] Recompute shadows of PAE PSE l2es when needed.
Signed-off-by: Tim Deegan <Tim.Deegan@xensource.com>

[HVM][SVM] Obtaining instruction address needs to mask to 32 bits
if not running in 64-bit mode.
Signed-off-by: Keir Fraser <keir@xensource.com>

[TOOLS] Fix xendomains init.d script DOG PIG confusion.

Fix typos in xendomains where we actually mean WDOG_PID.
http://bugzilla.xensource.com/bugzilla/show_bug.cgi?id=754

Signed-off-by: Alastair Tse <atse@xensource.com>

[HVM] Disable VMX/SVM on auxiliary processors when shutting down an SMP system.

With Intel VT, VMXOFF needs to be executed before halting the
CPU. Without this fix Xen or Linux is unable to start up the CPU after
a kexec reboot.

Tested using x86_32 on a Pentium D 930.

Signed-Off-By: Magnus Damm <magnus@valinux.co.jp>

[HVM][VMX] Clear vmxe when VMX is not enabled.

The current Xen code keeps X86_CR4_VMXE set even if VMXON has not been
executed. The stop_vmx() code assumes that it is possible to call
VMXOFF if X86_CR4_VMXE is set which is not always true. Calling VMXOFF
without VMXON results in an illegal opcode trap, and to avoid this condition
this patch makes sure that X86_CR4_VMXE is only set when VMXON has
been called.

Tested using x86_32 on a Pentium D 930.

Signed-Off-By: Magnus Damm <magnus@valinux.co.jp>

[PYGRUB] Enable showing the cursor in pygrub when it's relevant to do so.
Signed-off-by: Jeremy Katz <katzj@redhat.com>

[HVM][SVM] 64-bit Windows HVM guests require MCE/MCA CPUID bits to be present.
This SVM patch removes "masking off" of these bits for AMD-V HVM guests.
Signed-off-by: Tom Woller <thomas.woller@amd.com>=20

[BLKTAP] Remove unnecessary TLB flush from blktap driver.

blktap_poll is calling tlb_flush_all() in its main ring buffer polling
loop.  This seems to be superfluous: the hypervisor should be
performing
any necessary tlb flushes on grant table operations performed by the
back-end.  Even a simple memory barrier is unnecessary here as the
RING_PUSH_REQUESTS() call performs a wmb() anyway.

And tlb_flush_all() is not exported to modules, so this call prevents
blktap from building as a module.  Just remove it.

Signed-off-by: Stephen Tweedie <sct@redhat.com>

[BLKTAP] Remove unnecessary timeout from tapdisk select() call.

tapdisk was using a 1msec select() timeout in its main event loop.  On
timeout, the loop does nothing except repeat, so the timeout achieves
nothing; worse, on a machine with HZ set to less than 1000, a msec
timeout returns immediately, sending tapdisk into a 100%-CPU-
utilisation loop.

Simply remove the timeout entirely; everything still works fine, and
much more efficiently when idle.

Signed-off-by: Stephen Tweedie <sct@redhat.com>